Năm 1862, sau khi hòa ước Nhâm Tuất được ký kết, Đỗ Quang có lệnh cử đi làm Tuần phủ Nam Định, nhưng ông đã dùng lời lẽ ôn tồn để xin được cáo quan. Trong sớ có đoạn:

Hôm thần về, sĩ dân đứng che kín cả đường nói:Nay cha bỏ con, quan bỏ dân. Quan về thì quan lại làm quan, nhưng dân ở lại thì dân không còn được làm dân của triều đình nữa. Tiếng kêu khóc đầy đường, thần cũng phải gạt nước mắt mà đi. Trần trộm nghĩ, thần tài hèn sức mọn, nhưng từ trước tới nay vẫn xum vầy với dân, chưa từng tính đến ngày bỏ dân mà về. Nghĩa dân từ trước từng vì triều đình mà dốc hết sức người sức của, giờ chẳng biết bỏ thân nơi nào.Như thế là thần, ở trên thì phụ với triều đình, ở dưới thì phụ với dân trăm họ, tội không thể chối được. Giờ nếu thần lại lạm dự chức ở Nam Định thì biết ăn nói thế nào với dân Gia Định? Biết trả lời thế nào với công luận trong nước? Thần vẫn còn có chút lòng, quả là rất hổ thẹn. Vả chăng, thần vốn là kẻ có kiến thức nông cạn và hạn hẹp, nếu cứ gắng gượng mà làm việc mãi cũng chẳng thể gọi là báo bổ. Vậy, xin bệ hạ hãy thu sắc mệnh, cho thần được bãi chức về với làng với ruộng, hầu làm nguôi bớt lòng oán giận của sĩ dân, và cũng để giữ tiết liêm sĩ của thần vậy...[7]

Chép lại đoạn sớ trên, GS. Nguyễn Khắc Thuần ghi kèm câu:...Trên trang sử này chỉ thấy bàng bạc một nỗi u hoài khó tả của Đỗ Quang.